VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction
VGGT-Edit：基于残差场预测的前馈式原生3D场景编辑
🧭 文本引导的前馈式3D场景编辑
Peking University · Tencent · The Chinese University of Hong Kong · Shanghai AI Lab · NTU
提出深度同步文本注入与残差变换头，实现快速、多视角一致的文本驱动3D场景编辑。
📌 工作参考价值（4 点）
- 3D编辑架构选择：直接预测几何残差场而非2D-lifting，避免了纹理模糊和几何不一致，可借鉴到电商3D商品模型的快速修改中，保持多视角一致性。
- 深度同步特征注入：将文本语义特征按深度对齐到3D空间，确保指令跟随的稳定性，类似思路可用于多模态推荐中的跨模态对齐。
- 数据集构造方法：利用自动化管线结合3D一致性过滤生成高质量编辑对，为业务中构建3D编辑训练数据提供了一种高效范式。
- 损失函数设计：多目标损失联合约束几何精度和视角一致性，可迁移至其他3D生成或编辑任务的训练监督。